Self-Supervised Learning

良いスライド

「ICML Workshop」

時空間データなら未来予測でOK

世界モデルの学習に使われている?

cakeの一番下

何故CV分野がNLP分野と比べてあまり成功してないかというと、自己教師あり学習が上手く行ってないからだと思うんだよな。具体的には、SimCLRみたいなしょうもない手法じゃなくて、未来のフレームを直接予測する問題を解く必要があると思う。